P. Ramlee telah kembali ke Rahmatullah pada pagi Selasa, 29 Mei 1973 ketika berusia 44 tahun akibat sakit jantung semasa mahu tiba di Hospital Kuala Lumpur dan jenazahnya dikebumikan di Tanah Perkuburan Islam Jalan Ampang, Kuala Lumpur.[12][13][14] Bagi mengenang jasa dan sumbangannya, beliau telah dianugerahkan Bintang Kebesaran Darjah Panglima Setia Mahkota oleh Seri Paduka Baginda Yang di-Pertuan Agong pada 6 Jun 1990 yang membawa gelaran Tan Sri. Selain itu rumah terakhir beliau di Jalan Dedap, Setapak telah diubahsuai dan dijadikan sebagai Pustaka Peringatan P Ramlee pada tahun 1986. Manakala di tengah pusat bandar raya Kuala Lumpur namanya turut diabadikan pada sebatang jalan iaitu Jalan P. Ramlee (dahulunya Jalan Parry) pada tahun 1982. Di Kuching juga ada sebatang jalan yg dinamakan Jalan P. Ramlee. Beliau turut mendapat penghargaan doktor falsafah dalam bidang seni persembahan pada tahun 2005 yang membawa gelaran "doktor". Beliau juga diberi penghormatan oleh Pemerintah Negeri Sarawak dengan penganugerahan Darjah Yang Amat Mulia Bintang Kenyalang Sarawak atau Datuk Amar Bintang Kenyalang (Posthumous) (DA (P)) pada 2009. Anugerah tersebut telah disampaikan kepada anak angkat beliau iaitu Dian P. Ramlee.

Kemudian, sempena 50 tahun kemerdekaan Malaysia iaitu pada tahun 2007, beliau telah terpilih sebagai 10 calon terakhir bagi program Anak Gemilang Malaysia yang mengiktiraf rakyat Malaysia yang banyak memberi sumbangan kepada negara dan kejayaan dalam menaikkan nama negara di mata dunia. Pada tahun yang sama, kisah hidup beliau juga telah dipentaskan dalam satu pementasan teater muzikal dengan tajuk P. Ramlee the Musical... Hidup, Cinta dan Inspirasi.[15][16] Pada 2010, sebuah filem dokumentari mengenai beliau telah disiarkan di The History Channel (ASTRO Saluran 555) dan diarahkan oleh Shuhaimi Baba.[17][18]

Pada 22 Mac 2017, sempena ulangtahun kelahirannya ke-88, Google Malaysia memberikan penghargaan kepada P. Ramlee dengan mengabadikan beliau dalam imej Doodle yang mana ia dipaparkan di bahagian depan enjin carian Google.[19][20][21][22][23]